Alpha Evolve 大語言模型時代的演化算法

今年五月比較大的 AI 應用突破，大概要算是 Google 發表的 Alpha Evolve。Nature 上的報導（中文版）以「令人驚嘆」（spectacular）為題，列舉了利用這個系統在幾個數學問題上帶來的突破，以及實際應用在現實中的例子：像是「加速計算」這件事情，就可以資料中心帶來極為可觀的成本節約。

上一篇有提到，當年學機器學習在找研究題目的時候，指導教授循循善誘，勸我不要跳類神經網路這個坑，後來我選了另一個 generative model 的流派，演化算法（evolutionary computation, EC）。細節就不贅述了，反正以前寫過（paper, post-1, post-2），總之 Alpha Evolve 推出之後，這些老文章突然又有了新的點擊。

簡單的說，Alpha Evolve 是結合大語言模型的新型態 EC，把以前要花很多心思去設計的元件，像是問題表徵的設計、評估函數的設計、解決方案集合與迭代機制的設計等等，透過 LLM 得到了大幅度的簡化，所以一般的科學家可以相對輕鬆的上手。

演化算法的基本概念並不複雜，就是把問題的解決方案設計成特定的結構，透過演化的機制（物競天擇，分數高者生存），一代一代的迭代，來尋找更「好」的解決方案。但演化算法運作的細節也有點複雜，像是具體的定義「好」，跟解決方案的結構設計，都會影響到整個尋找的效率。現在透過大語言模型來簡化這些步驟，的確是個不錯的方法。

演化算法本身就是一個「生成式」的方法，可以生出資料裡沒有出現過的樣本，在「資源有限」的情境下對「找到更好的答案」非常有效律；但它也有明顯的缺點：這個算法不保證迭代會趨於收斂，所以傳統演算法的學者常常「不吃這一套」。

就先這樣吧，其他的，等有了成果再說吧。